Ông tên thật là Nguyễn Văn Đồi, sinh năm 1910 tại làng Vĩnh Ninh, xã Vĩnh Quỳnh, huyện Thanh Trì, phủ Thường Tín, tỉnh Hà Đông nay thuộc huyện Thanh trì, Thành phố Hà Nội. Thuở nhỏ, ông theo cha sang Vân Nam (Trung Quốc) sinh sống. Lớn lên, ông làm thợ hỏa xa tại Vân Nam.

Sau khi Nhật xâm chiếm Mãn Châu, ông đăng lính quân đội Trung Hoa Quốc dân đảng, sau đó được cử vào học tại Trường Quân sự Hoàng Phố (Trung Quốc) năm 1937. Tại đây, ông đã có những cuộc tiếp xúc đầu tiên và dần có cảm tình với những người Cộng sản Việt Nam như Nguyễn Ái Quốc, Lê Thiết Hùng, Nguyễn Sơn...

Năm 1940, do cuộc thanh trừng của Trung Hoa Quốc dân đảng đối với những người Cộng sản, ông trốn về nước tổ chức hoạt động cách mạng. Tuy nhiên, năm 1941 ông bị thực dân Pháp bắt giam và năm 1942 bị đày tại trại giam Bá Vân (Thái Nguyên). Tại đây, ông được những người tù Cộng sản vận động và tham gia công tác binh vận, phụ trách huấn luyện quân sự trong tù. Ông trở thành đảng viên Đảng Cộng sản Việt Nam năm 1943.

Ngày 9 tháng 3 năm 1945, Nhật đảo chính Pháp tại Đông Dương. Khi đó, ông đang bị giam tại Nghĩa Lộ (Yên Bái), cùng các bạn tù phá ngục, sau đó dự định tổ chức bạo động giành chính quyền ở Nghĩa Lộ nhưng không thành. Vì thế, ông về Bắc Ninh gây dựng cơ sở cách mạng, huấn luyện quân sự ở Chiến khu II.